吴明︱脑内电影意义生成的认知神经学阐释——《雀村往东》的启示

杨福东的多屏装置电影《雀村往东》中的影像

本文原刊于《文艺研究》2022年第8期，责任编辑小野，如需转载，须经本刊编辑部授权。

摘 要 20世纪多种艺术门类的实验，都对流畅叙事产生过不同程度的怀疑或拒斥。认知神经学揭示出，创造秩序、生成意义是人类大脑的高级功能，其运作原理尚未被完全破解。当下，人工智能编剧正以循环神经网络算法学习人类的叙事方式，但远未成熟。这些前沿科技的发展促使我们重新思考叙事的难度与价值。杨福东的多屏装置电影《雀村往东》在“影像”与“电影”的概念边界，激活叙事在当代艺术语境中的重要性。通过清理“神经美学”和“神经-影像”理论的逻辑疑点，可以发现这部作品对建构“电影-大脑”理论模型的媒介优势。借由人工智能编剧的循环神经网络算法原理，可以搭建电影叙事和脑内意义生成的机制关联，由此深入理解在离散影像时代叙事对于连结个体与世界的意义。

　　认知神经科学的发展，日益显示出大脑是一个建构意义的复杂功能系统，但大脑如何将外界信息转化为可理解的意义，这一运作机制仍未被完全揭示。当下，人工智能（AI）开始介入电影剧本创作，其核心技术是模拟人脑认知的循环神经网络算法，目标是让人工智能创作出有意义的情节。大脑、人工智能、电影在“叙事”问题上交会一处，这也暗示着，电影的叙事机制与大脑的意义生成机制之间很可能存在重要的内在关联。因此，如果一部电影直接展现出叙事产生的过程，那么它或许可以为理解大脑的运作原理提供重要启示。杨福东2007年的多屏装置电影《雀村往东》就是这样一个独特案例，它通过展现叙事的生成过程，激发出电影与大脑的同构可能。接下来，笔者将阐明这部作品在叙事上的媒介独特性，为展开后续讨论提供基础。

一、叙事：“影像”时代重启“电影”之名

 

　　杨福东是国际知名的中国影像艺术家，他的《竹林七贤》曾被美国艺术史学者、批评家凯利·格罗维耶（Kelly Grovier）列为“100件定义我们时代的艺术品”，并被誉为表现中国城市青年群体精神征候的“一则庄严的视觉寓言”1。但正是为了扭转这部作品过分形式化的肤浅感，杨福东回到故乡，用一台数字摄影机创作了六屏装置电影《雀村往东》。这部作品以残酷现实的美学风格与伴随童年记忆的农村经验，使国际评论界普遍“失语”，至今很少见到对其的深入讨论。巫鸿曾困惑地问：“我想知道为什么大家不谈这部作品？是不是因为它的纪录片风格……和批评家自己的兴趣不挂钩？还是和当代艺术的整体潮流不挂钩？”2但也有少数评论家认为它具有堪与“伯格曼、塔可夫斯基、斯特林堡、陀思妥耶夫斯基等人相比的庄严性”3。这份赞誉虽有溢美之嫌，但颇值得玩味：这件陈列于美术馆里的装置，为何会被归入伯格曼和塔可夫斯基这样经典意义上的“电影”，而不是当代艺术语境中更常用的“影像”之列？在泛影像时代，“电影”这个携带19世纪古早气息的名称，究竟是昭告着《雀村往东》的退守传统，还是以观念的反刍对当代艺术潮流投以更前卫的质疑？出于各种困惑，巫鸿于2014年在芝加哥大学洛根艺术中心为这部作品做了一次单独策展4，并将其命名为“杨福东：雀村往东”（Yang Fudong: East of Que Village），意在引起人们对这件作品的特别关注，这就是本文要讨论的“洛根版”。2015年，该作品在上海余德耀美术馆的《南辕北辙——杨福东作品展》上展出时，展厅变为狭长逼仄的扁平空间。洛根版中由空旷空间引发的陌生感和探索欲，变为前后夹击的屏幕逼视与心理焦虑；六块屏幕也重新排序，不再构成以对角线为界的人-狗双重世界。巫鸿确认这是有意为之的两种布展策略，希望观众能有不同的感受和解读5。因此，讨论《雀村往东》需要强调版本，本文所讨论的均为洛根版。

　　《雀村往东》是一件六屏装置，六块屏幕同时循环播放时长相等、内容不同的六段短片，时长为20分50秒。整件作品陈列在一间约五十平方米的展厅中（图1），左下角为入口，在门外便能听见里面传来野兽低吼声，残酷与畏惧感先声夺人。展厅是一个独立封闭的黑暗房间，强化了与影院的相似性；展览与作品同名，也使观众的观展预期被锁定在“这一件”作品上。每个走进房间的人，都像买票进入影院，只为一件作品而来，再无他处可去。即使是那些看看就走的人们，也更像看到无趣电影提前退场的“观众”，而与大型展览中总是急于奔往下一个展厅的“参观者”不同6。进入展厅后，观众自然站在房间对角线上，将展厅分为左右两个三角形区域。左半边的三块屏幕均以野狗为主角，依次标为“狗1”“狗2”“狗3”（图2）；右半边的三块屏幕以人为主角，依次标为“人1”“人2”“人3”（图3）。六块屏幕上均为黑白影像，无配乐，无对白，只有环境声和极少量的轻微人声。观众无法同时观看六块屏幕，必须进行取舍，所以视觉上是断裂跳跃的，但六块屏幕发出的连续声音又使整个空间保持了一体性。观众在最初的盲目跨屏观看后，通常会进入两种观看方式：第一种是在各屏幕间穿插观看一会儿，无意深究，随即离开；第二种是对某块屏幕的内容产生兴趣，舍弃其他，专心观看。这两种方式都是局部观看，并不着意于收揽全部信息，而只做选择性的“断章取义”。这种随机拼合的影像片段很难构成完整叙事，会使观者以为这部作品只是用影像营造了某种空间氛围。但如果逐屏观看，即每次锁定一块屏幕完整观看，用约125分钟的时间依次看完六块屏幕的全部内容，就会发现这件作品中隐藏的主角和潜在的叙事7。

图1  洛根中心展厅示意图

图2  屏幕从左至右为：狗1、狗2、狗3

图3  屏幕从左至右为：人1、人2、人3

　　逐屏观看所得的六块屏幕的信息大致如下。人1与人2是叙事性最强的两块屏幕，人1讲述了一个村民从重病到葬礼的过程，包括友邻探望、家人焦虑、追思缅怀等情节，其中吹唢呐送葬的段落是整件作品中最高亢悲怆的声音元素，会吸引大部分观众的目光。人2具有前后呼应的结构感，表现了一只小狗被农夫收留，以及农夫家中的日常状况。其他各屏叙事性较弱，多以场景展现为主：狗1和人3是荒野与田野的大远景镜头，表现小狗的流浪历程或村民的日常劳作；狗2是群狗混战与砖窑起火的片段；狗3表现群狗啃噬动物残骸，以长时间的低机位固定镜头为主，是整件作品中最残酷的景象。逐屏观看后会发现，有一只瘸腿小狗是唯一出现在所有屏幕中的视觉元素，可被视为影片的“主角”。杨福东说这部影片“像是一个关于这只小狗的儿童片”8，印证了它的主角身份。“儿童片”这一类型片概念，也明确了杨福东对这部作品的“电影”身份定位。

　　一般而言，“影像”比“电影”的概念更开放，它更强调视像在技术手段和物质载体上的媒介属性，而不强调叙事、表演等情节化表意功能。因此，当代艺术界更多采用“影像”而非“电影”概念。策展人李振华在定位杨福东的作品时遭遇了命名的两难，他认为：“如果将杨福东的作品称为电影，显然是经典化概念作祟，或是一种乡愁，或是对那个逝去时代的缅怀。如果将他的作品都归结为影像（image or moving image），对此模糊不清的、泛化的指涉会影响对他的工作细节，以及作品机理的判断和理解。”9杨福东本人从创作之初便有意识地强调自己作为“电影”创作者的身份。从处女作《陌生天堂》开始，他就自称“导演”，写完“剧本”后去“找投资”，组建“剧组”，虽然只有“导演、演员、摄影”三人，但做的事情是“拍电影”，预期的展示空间是“电影院”，希望自己能“推动电影的改革”10。初期，他“执拗地选择使用胶片来创作，（认为）只有这样的过程，才是真正的在创作‘电影’，这与20世纪90年代盛行的简单粗糙的、颗粒美学的录像艺术拉开距离，无论是表达媒介还是影像质感”11。即便《雀村往东》使用的是数字摄影机，且具有影像装置的多屏形态，但杨福东依然会使用“演员”“主角”“表演”“机位”“景别”“类型片”“伪纪录片”等典型的电影概念来谈论这部作品。在被问到为何不把《离信之雾》归为当时更流行的“电影装置”概念时，他只是说“我坚持它还是一部电影”12。2018年的《明日早朝》为“美术馆新电影计划”的首部作品，杨福东直接将“片场”安置在上海龙美术馆展厅内，让电影的创作过程本身也成为作品的一部分。2020年他策展的青年实验影像计划“未来未来”，把美术馆里的影像作品安排到电影院的大银幕上放映13。李振华经过再三考虑，还是选择以“杨福东：电影”这样的表述概括杨福东的作品属性与创作理念14。当代影评人兼艺术评论家马克·纳什（Mark Nash）更是将《雀村往东》纳入中国第六代导演“拒绝社会主义现实主义叙事方式”15的体系，而非作为“美术馆电影”去讨论。

　　在“泛影像”时代重启“电影”之名，未必是退守与怀旧，反而是希望通过重置作品的美学谱系，重新思考“叙事”之于艺术的重要意义。2017年徐冰创作的《蜻蜓之眼》也是一次重返叙事的当代艺术实验。徐冰从创作之初就明确这是一部“电影”，且是一部“剧情片”；该片在多伦多国际电影节和洛迦诺国际电影节获奖，也强化了其作为电影的定位16。这部作品被界定为“影史上首部没有摄影师和演员的剧情长片”17，所有素材均来自通过公开渠道获得的监控视频，这意味着原始素材之间本不存在任何逻辑关系。它的挑战就在于观者能否“从看似无序的图像中找到完整叙事”18，这也是徐冰团队在创作初期最担心的一点，但后来他们发现可以通过声音来弥补图像辨识上的欠缺19。但是，《蜻蜓之眼》并未解决用随机影像构建叙事的难题，而是回避了难题。它依赖大量画外音，直接将情节信息植入影像，而非依靠视像本身的“蒙太奇”组合来构成表意逻辑。而早于其十年的《雀村往东》不依赖任何对白、旁白，让观众在现场自行剪辑，创建多元的个性化叙事版本。多屏载体不仅没有拆毁叙事，反而埋藏了各种类型与多线叙事的实操可能，避免了大量实验影像在“开放叙事”和“叙事无能”之间的失衡。

　　《雀村往东》通过对剪辑原理的现场还原，成为一部“元剪辑”电影。无论是胶片时代的物理剪辑，还是数字时代的非线性剪辑，“剪辑”的本质始终是通过对原始素材的时空顺序重组，形成一条新的影像时序链。可以说，剪辑过程始终是非线性的，而结果始终是线性的。但两种剪辑的操作差异巨大，《雀村往东》的“元剪辑性”更接近非线性剪辑软件的操作特质。在胶片时代，画面与声音素材需要首先被转录到同一个声画合成的胶片上，然后再开始剪辑。剪辑师对胶片进行真实物理意义上的“剪”与“接”，一旦发生错误，修改极其繁琐，甚至要退回原始素材返工。在非线性剪辑软件中，画面与声音素材以数字文件的形式被灵活处理，画面与画面、画面与声音，均可形成重叠、并置、反复等关系。剪辑师寻找素材也不受限于时间先后，可对任何一段素材随意复制、编辑、删除，各种特效也可同时处理。剪辑软件上的多轨道并置界面，就是对“非线性”最直观的呈现。《雀村往东》的观众面对六块屏幕，就像剪辑师面对大量原始素材，跨屏观看就像自由选取素材的过程。如同在非线性剪辑软件中那样，观众在大脑中重新组合素材之间的顺序，建立叙事逻辑，编织意义之网，最终在脑海中生成一部电影。《雀村往东》在脑内进行剪辑、创造意义，这使它与大脑的意义创生机制具有同构可能。在深入讨论电影与大脑的内在关联之前，有必要先阐明大脑产生认知的基本特征，并对两个相关的跨学科理论进行逻辑辨析，澄清它们的理论预设和逻辑缺口。

二、逻辑清理：电影与神经学交叉的理论准备

 

　　电影的意义至少产生于两个层面：一个是由主创团队创造的意义，包括从构思到成片的整个制作过程，它包含了一部电影在抵达观众视听器官之前的全部信息；另一个是由观众的认知神经系统创造的意义，它是观众在接收银幕信息后自行产生的个性化理解。银幕信息只能让一部电影“显现”，真正让人们看到并理解电影的，是他们的认知神经系统。每个人的大脑为电影赋予了“为我”的意义，使银幕上的“一部”电影在不同头脑中演绎出不同版本。

　　大脑认知具有自反馈与非互动的特性。以视觉系统为例，人眼通过视网膜—外侧膝状体—大脑皮层三个主要环节产生视觉认知。视网膜接收光信息，外侧膝状体负责将信息整合归类并传递给大脑皮层，大脑皮层负责产生认知、建构意义。外部的光信号一旦被视网膜接收，神经节细胞立即进行光电转换——把光信号转化为电信号，以动作电位的方式发放出去，整个神经系统以电信号进行传输。可以说，“感受体构成了外在世界与内在世界的边界，视网膜对应/匹配的是内在组织，而不是外在世界”20。“内在组织”就是指神经系统的生物组织和认知生成机制，观影时的“外在世界”就是放映系统输入视网膜的银幕信息。从控制论的角度看，主体性源于大脑是一个“自创生系统”，其特点是“回路不再具有连接系统与环境的作用，信息不会跨越区隔系统与环境的界线。……我们只能看见系统组织允许我们看到的。环境仅仅只是‘触发’一些变化，而这些变化是由系统自身的结构属性决定的”21。这意味着，视觉神经系统是一个自反馈回路，它与具有相同特征的听觉神经系统形成更复杂的交互神经网络，但交互只发生在神经组织内部，不会反作用于外部世界。简言之，大脑是一个通过交叉网络传输信号的内部自反馈系统，它不会直接与外部世界发生互动，而只会发出指令让躯体做出运动。人类以身脑一体的生命系统与世界发生互动，若讨论仅聚焦于大脑，反而应该强调“非互动性”。这正是《雀村往东》比游戏、VR等交互媒介更接近大脑机制的原因。

　　基于大脑的这些特性，可以对“神经美学”和“神经-影像”两种经典理论进行简要的逻辑梳理。它们既是创建电影（艺术）与神经学关联的卓越开拓者，也透露出这一交叉研究中潜伏的问题。萨米尔·泽基（Semir Zeki）是神经美学的创建者，他在对比绘画与脑区活动扫描图时，发现二者存在高度相似性。由此，他提出一个大胆假设：艺术很可能是大脑活动的外化表征，研究艺术作品相当于研究大脑；艺术家的创作不是再现外部世界，而是探索大脑的本质特征。泽基在对比现代抽象绘画与视觉细胞的感受区扫描图像后，“发现艺术所强调的效果，和视觉脑细胞的感受区的特色有极大的相似之处”，甚至认为“艺术简直就是为迎合细胞的生理功能量身打造的”，由此提出“感受区的艺术”22。蒙德里安偏爱直线，被认为是参透了视觉皮层中“走向选择性细胞”被激活所需要的条件。泽基进而推论：“和寻找生理的‘基本组成元件’的生理学家一样，艺术家也在寻找构成形体的元素。很多艺术家找到的答案居然和生理学家一模一样。”23泽基的神经美学的贡献在于把艺术引入神经科学，发挥其方法论作用，为研究大脑的运作机制提供了一种富有启发性的思路。但是，这一理论也存在三个潜在问题。第一，它不是关于大脑的直接真理，而是在目前实验手段无法直接探明大脑工作方式的情况下提出的科学假说，是一种“描述性”而非“实验性”的神经美学，还有待未来实验科学的检验。安简·查特吉（Anjan Chatterjee）提醒道：“我们需要谨慎对待描述性神经美学。因为它会诱使我们相信我们的知识建立在很牢固的基础上，但实际上并没有那么牢固。我们可能会将描述性神经美学的一些猜想当作必然的结论。”24第二，即便绘画是画家大脑运作的外化表现，但泽基扫描的却是观众的大脑反应图像，能否直接用观众的大脑反应替代艺术家的大脑反应，这也值得商榷。第三，泽基选择的艺术种类主要是绘画，但绘画是静态媒介，它只能呈现出艺术家的创作结果而非过程，而大脑是不停活动的认知系统，以静态绘画无法印证大脑认知的动态过程。因此，在建构“艺术-大脑”的理论模型时，选用的媒介应该是动态的，且最好让接受者也是创造者。仅就这一点而言，游戏、VR、电影都比绘画更为适合。

　　不同于泽基的科学实验路径，帕特里夏·品斯特（Patricia Pisters）从哲学层面建构了“神经-影像”概念，用以命名一种“属于21世纪全球屏幕文化的新的电影类型”25。在其代表作《神经-影像：数字屏幕文化的德勒兹式电影哲学》中，“神经”与“影像”主要以三种方式进行结合。第一，选择与精神分裂题材有关的电影，把它们与德勒兹和瓜塔里提出的资本主义“精神分裂分析症”联系起来，讨论电影如何成为这种社会文化征候的艺术表征，并延伸至政治和伦理维度。第二，结合电影场景中出现的各种屏幕形态和融合型数字媒体实践，探讨无处不在的电子屏幕如何形成既开放又被高度控制的社会现实。第三，基于德勒兹“大脑即屏幕”的类比，将电影和神经系统作同一化处理，使用一系列神经科学术语重新描述与精神分裂有关的电影类型元素，不断强化电影与神经系统的同构关系。品斯特为电影研究引入神经科学视角，证明了“影像不能再被看成是客观现实的再现（representation），而应被看成能在大脑内部制造某些效应的内在力量，也就是说，影像在被观众接受和处理时，创造了新的脑回路”26。

　　但品斯特的逻辑基础和部分结论也值得商榷。第一，“神经-影像”这一哲学概念，本应建立在神经和影像二者作为“意义创生机制”的内在同构性上，但在品斯特的论述中，电影往往只是作为“情节信息”介入神经-影像的建构。例如人物被设定为患有多重人格、妄想症等精神疾病，或人物所处的环境充斥着各类电子屏幕，但这些围绕人物和剧情的基本设定并不能体现电影的媒介机制特性，它完全可以被替换为相同的文学描述或新闻报道。品斯特虽然列举了大量电影作品，但它们的意义只是提供相关话题，作为“表意机制”的电影恰恰是缺席的。第二，由“大脑即屏幕”引申的讨论，缺乏对这一隐喻本身合理性的反思。屏幕被等同于电影，于是“大脑-屏幕”变成“大脑-电影”，再通过强调德勒兹所说的“大脑是内外连续双向运动的边界（boundary），即两者之间的膜（membrane）”27，建构起“大脑-屏幕-电影-膜”的四位一体隐喻链。由此，屏幕的“平面”（lay out a plane）属性也被转移给电影，这忽视了电影恰恰是以“空间化”的表意机制超越屏幕表面的二维性。而德勒兹所言的“内外连续双向运动”也不符合大脑自反馈系统的“非互动性”特征。毕竟观众在看电影时，屏幕信息会改变他们头脑中的想法，但大脑中的想法却不会反向改变银幕信息，而只能改变观众对信息的解读。虽然“大脑皮层”听上去像一层“膜”，但整个大脑的外表形态是显而易见的“类球体”，所以常被认知科学家喻为“黑箱”。欧洲“蓝脑计划”（Blue Brain Project）利用“代数拓扑”模型提出，人脑以高维空间的复杂形态运转28。他们发现，“大脑在处理信息时，可产生多达11个维度的神经结构。这里的‘维度’是指抽象的数学空间（mathematical spaces），而非其他物理领域”29。这意味着，无论作为实体的生物器官，还是抽象的内在运作机制，大脑都是一种“空间化”的存在。

　　可以说，电影和大脑正是在“空间”而非“平面”的意义上，才可能达成机制性同构。对这一点的忽视，导致品斯特在运用“神经-影像”概念阐释具体电影作品时判断失准。例如，在分析《搏击俱乐部》片头（图4）时，她认为这段模拟大脑神经网络的特效影像是表现脑内电影“元空间”（metaplace）的绝佳案例，因为它“让观众不再通过人物的眼睛观看，而是真正进入他们的大脑内部”30。但她在前文刚刚强调过艺术作为“平面”的价值，而这段片头呈现的显然不是一片膜状大脑。它的制作方式是，先由医学绘图师以“房间”为设计理念，绘制出“大脑穿梭地图”（brain ride map）（图5），制定“从杏仁体到穿出前额的通道”，再由视效团队沿这一路线模拟出摄影机的运动轨迹31。跟随快速运动的推拉镜头，大脑内部被塑造成一个遍布线缆又仿如太空般的广袤空间。但虚拟摄影机实际行使的功能，只是传统的纪录式拍摄和纵深场面调度。换言之，这段片头只是利用常规的图像隐喻，像展现房间那样把神经网络图景模拟出来。品斯特只能在象征（emblematic）意义上建立神经与影像的关联32，却无法实现她所说的“元空间”指涉，因为后者需要把影像重塑为基于脑神经运作模式的空间化产物。

图4  《搏击俱乐部》片头

图5  《搏击俱乐部》 “大脑穿梭地图”

　　产生这些问题的根源在于，品斯特选取并分析这段影像，主要服务于哲学概念建构，却忽视了电影创作的基本规律。正如影片的视效总监凯文·马克（Kevin Mack）指出的，这段片头并非孤立存在，而是与整部影片不断纵深推拉的镜头调度风格保持一致。无论是“人物的主观视角、居所内的镜头、在炸弹上飞行的镜头、冲出窗子潜入小货车的镜头，都运用同一技巧”，并与“IBM星球、微软银河系、星巴克星球”的主角独白，共同创造出“垃圾宇宙”的意象33。它们既巩固了片头大脑的空间结构意象，也奠定了整部电影用内外视点交替的方式实现“人格分裂”这一文学主题的视觉转译手法，这才是电影化表意机制的媒介特性所在。事实上，只要电影依旧在二维屏幕上播放，“进入大脑”就只能是一种修辞隐喻，品斯特试图在神经与影像之间搭建的“元”指涉就难以实现。

　　综合泽基与品斯特的理论探索会发现，在脑机接口技术尚未成熟之前，若要间接建立艺术与脑神经系统的机制性同构，那么与大脑特性对应的理想媒介，就应同时具备以下特点：动态表意、创作接受一体化、空间网状、自反馈且不互动。游戏与VR因强调互动性，反而不是最合适的选项；而传统单银幕电影又无法在外部形态上呈现空间网状特征。由此，《雀村往东》独特的个案价值便显现出来：它以多屏环绕的实体三维空间打破单一屏幕的二维约束；观众以创作者的身份进行现场剪辑，在脑内实现电影意义的非线性网状生成过程；精巧隐藏的主角，确保了现场剪辑最终能建立起有意义的叙事；整个过程发生在观众大脑内部，符合自反馈系统的不互动特征。因此，《雀村往东》是更有利于展开电影（艺术）与脑神经这一交叉学科研究的媒介形式的代表。观众进入展厅，就如同进入一个“脑式空间”，以自己的生物大脑驱动“展厅大脑”，这种“以脑为脑”的嵌套式元结构，使观众得以通过自身的大脑运作，反观“大脑如何运作”本身。需要说明的是，在脑机接口技术成熟以前，任何艺术介入大脑的研究都不是直接实证的，而只能是某种理论假设或阐释。《雀村往东》提供的也只是一种理论构想：以“元剪辑”为连结点，通过追踪现场建构叙事的过程，推测大脑生成意义的原理。

三、元剪辑：脑内意义生成与循环神经网络叙事

 

　　观众在现场进行脑内剪辑的过程，既是拼接各种影像素材建立电影叙事的过程，也是大脑接收信息、创建意义的过程。实现这两个过程的基础是跨屏观看，亦即注意力转移。“注意”是认知神经学中的经典范畴，通常分为两类：有意注意和反射性注意。有意注意是一种来自内源刺激的主动关注，大脑“自上而下”受“目标驱动的影响”；反射性注意是一种来自外源刺激的被动关注，大脑“自下而上”受“刺激驱动的影响”34。在观看《雀村往东》时，有意注意就是观众根据兴趣，主动在不同屏幕上搜寻信息；反射性注意就是观众受到某些视听信息的刺激或吸引而调转目光，例如当屏幕人1响起高亢的唢呐声时，大部分观众会丢下正在观看的屏幕，转向人1。但这两种注意力只涉及大脑如何接收信息，一旦要处理信息并建构意义，大脑就会启动选择机制对信息进行区分。

　　电影信息涉及视觉和听觉两个感知系统，因此跨屏观看不仅是视觉注意力转移，而且是视听注意力交叉影响的结果。广义的电影剪辑除了剪画面，也包含剪声音，还要顾及声画之间的匹配对位，这样才能构成一个镜头的完整意义。在《雀村往东》中，要创建一个单镜头意义，需要眼睛每次盯住一块屏幕形成画面信息，但六块屏幕的声音连续不断，六个声源并无明显的强弱区分，浑融在同一空间中，形成一个均质的物理声场。这犹如电影声音剪辑（sound editing）提供了所有声音素材，创建出一个完整的声音环境。但是，这里的“均质”仅在物理声学意义上存在，当观众仔细观看这块屏幕上的内容时，该屏幕的声源就会从声场中脱离出来，成为超越其他五个声源的主声源，其他声音则在感觉上沉降为次要的背景声。这个主次区分并非音量的物理改变，而是大脑的主观调控，这就是认知心理学中的“鸡尾酒效应”。它是指在喧闹嘈杂的鸡尾酒会上，人们能自动屏蔽周围的无关声音，听清自己感兴趣的对话。电影混音（sound mixing）正是依据这一原理，调配各轨音频的电平比例，混合出有空间层次感的声景（soundscape）。例如，当主人公处在吵闹环境中，观众本应无法听清人物对话，混音师会优先保证对白音量，将其置于声场前景，使之区别于周围的环境声，模拟生活中的鸡尾酒效应。科波拉的《对话》（The Conversation）开头就是对这个手法的元媒介反思，它从窃听者的主观听点出发，让闹市中的主人公对话像普通电影中那样清晰可闻，但又以录音设备的白噪音不断提醒观众，这种清晰度并非物理现象，而是来自窃听者的耳机。这段片头用主观听点和混音原理的元结构，形成叙事与媒介上的双重鸡尾酒效应，揭示出电影声音模拟的不是物理现实而是主观感受。《雀村往东》更进一步，让电影叙事学中“主观视（听）点”中的“主观性”，无须再通过视点镜头的正反打间接暗示观众与人物重叠，而是让观众取代人物，在展厅内直接产生鸡尾酒效应，亲自完成对一个镜头的脑内混音。于是，鸡尾酒效应与混音的直接等效性，便有力揭示出大脑与电影的机制化同构。

　　通过跨屏观看选取素材，再经过心理混音，形成声画匹配的单镜头表意，可以初步建立起电影的最小叙事单元。但要剪出一部剧情片，还要围绕主角构建一系列情节，形成具有一定结构的故事，这便是瘸腿小狗作为主角的重要意义。围绕瘸腿小狗的跨屏观看不再是信息的随机组合，而是对角色性格特征和命运走向的叙事建构。六块屏幕上的内容如同六个机位采集的影像素材，观众可根据不同的类型倾向，提炼情节逻辑，有目的地跨屏取材，创造个人的“导演剪辑版”。在此过程中，观众至少要执行两种剪辑功能：排列类型元素、组合镜头语言。于是，我们会发现，杨福东提供的六屏素材绝非随意，而是隐藏着精巧甚至缜密的构思创意。例如，以屏幕人2上的小狗被农夫收留为情节主线，就可与其他屏幕中的旷野流浪、搏斗、抢食、毙命等情景，组合出多种类型叙事。这可能是一只小狗在野外经历各种磨难，中途险些丧命于某户人家，最终被农夫收留的温馨故事；也可能是一只曾被农夫收养的小狗，一心想去野外流浪冒险，最后曝尸荒野的悲惨故事；或是一只小狗曾被主人抛弃，被野狗排挤，虽被好心农夫短暂收留，但终不忘报仇雪恨，直至在砖窑烈火中与群狗同归于尽的壮烈故事。类似的情节组合可以不断发散衍生，形成对一只小狗性格与命运的多重塑造。

　　同时，杨福东提供的素材还具有专业的镜头意识。对于相同场景或人物，既考虑到群像与个人的比例分配，也提供了全景、近景、特写等不同景别与角度，为实施更精准的剪辑预留了可能性。例如，在屏幕人1中，对人与狗给出大致相同的景别、方向、躺卧姿态（图6、7），可由观众完成库布里克式的匹配剪辑（match cut）转场，或以爱森斯坦式的蒙太奇创造人与狗的隐喻关联。在屏幕人2的开头和结尾，分别给出瘸腿小狗与牛对峙的纵深向镜头，以及它与羊群相遇的水平向镜头（图8、9），为塑造首尾呼应的闭合式结构提供了必要的轴线变化。组织丰富的戏剧冲突、搭建完整的叙事结构、遵循专业的视听语言，这些最基本的剪辑功能在表面随机的多屏装置形态下，让观众体验到从信息的无序与无意义中，建立起秩序与意义的魅力。

图6  病人躺卧全景

图7  小狗躺卧全景

图8  纵深向镜头

图9  水平向镜头

　　那么，由剪辑创建叙事的过程又如何与大脑构成元指涉关系？人工智能编剧软件为我们提供了一个有启发的参照系。因为它是基于循环神经网络（recurrent neural network，简称RNN）和长短期记忆神经网络（long short⁃term memory，简称LSTM）算法来创造叙事，所以，考察RNN和LSTM的基本原理，有助于间接观察大脑与电影在生成叙事/意义上的异同。LSTM是一种特殊的循环神经网络，亦即一种特殊的RNN。这两种算法的示意图清晰呈现出它们的共性与区别（图10）。根据RNN的基本原理，信息输入一层神经网络后，该神经网络不仅向下一个神经网络进行输出，同时在权重矩阵的作用下，再将这一输出重新输入给自己，这就使得该神经网络在下一个时间点不仅接收到外界传入的新信息，而且还仿佛“记得”之前的信息，并使两种信息共同参与后续的认知判断。例如，前一刻神经网络接收到“小狗闲逛”的信息，下一刻接收到“群狗打架”，综合两者后，RNN可能会初步预判“小狗要被欺负”，但当继续接收到“群狗啃噬尸骸”后，RNN可能会调整判断为“小狗加入了狗群”。但RNN只能记住最近的信息，容易遗忘更早输入的信息，这导致它不擅于处理长序列数据。针对这一弱点，LSTM加入了“记忆单元”（memory cell），模拟大脑兼用长短期记忆处理信息的特征，通过加入各种门（gate）结构，对信息进行筛选。其中最有特色的是遗忘门（forget gate），它通过运算激活函数[σ]，对上一单元传递来的信息进行取舍判断，将不重要的信息过滤掉，决定是否要与新信息一起向下传递或部分传递。

图10  RNN与LSTM算法示意图

　　AI研究者罗斯·古德温（Ross Goodwin）利用LSTM算法，开发了AI编剧软件“本杰明”（Benjamin）。通过深度学习大量经典科幻电影后，“本杰明”于2016年创作了世界上首部由AI编剧的科幻短片《太阳泉》（Sunspring）。影片虽然勉强讲述了一个包含三角恋的科幻故事，但台词的无意义和情节的逻辑断裂，使人看得一头雾水。一个值得注意的细节是，“本杰明”在编剧时已发现“角色试图了解环境”是一种重要的“科幻类型模式”（pattern in sci⁃fi movies）35。对类型模式的关注，使它创作的第二部短片《这不是游戏》（It’s No Game，2017）大放异彩。这部短片以机器人驱逐人类编剧为主题，在一段双方对峙的情节中，机器人命令两个人类不断切换各种类型化表演：从莎士比亚模式到黄金时代的好莱坞爱情片模式，再到编剧阿伦·索金（Aaron Sorkin）的剧情片模式。这展现出AI编剧在学习和运用类型模式上的长足进展，也使第二部短片的叙事逻辑明显提升。人脑在创造或欣赏类型片时，同样受到类型模式的主导。例如在《雀村往东》中看到“群狗啃噬尸骸”，观众既可能认为小狗加入了群狗，也可能想象小狗就是正被啃噬的尸骸，叙事如何发展取决于类型模式被预设为温馨故事还是残酷故事。一旦模式确定，哪怕画面中没有小狗，它也会被“脑补”进来。类型模式的引导功能源于大脑追求意义的稳定性。所谓“有意义”就是指信息达到了某种稳定状态，成为可被把握和理解的对象。“球洞神经网络模型”将其比喻为“网络达到一个最低能量‘洞’，网络的状态就像球一样最终将掉入这个‘洞’。网络的这种低能量态可以通过纯粹地求解权重方程来创造”36。在动态网络中，稳定状态也被称为“吸引子”，“输入图像的片段将陷入表征整个图像的吸引子，这是一个模拟人类识别记忆的重要属性”37。所以，类型模式一旦确定，就如同在地上布好了洞，输入的信息会被引导入洞，以符合具有稳定状态的意义。

　　既然大脑追求秩序感和稳定意义，那么非类型叙事中被故意切断或打乱的情节线，以及暧昧不明、歧义丛生的表达，又为何会令人着迷？这种快感产生于不同的认知机制。非类型叙事中没有类型模式，依靠激发观众的个人记忆来创造作品中没有的“视觉表象”（visual imagery）。“视觉表象”是认知心理学中的经典概念，属于一种心理表象（mental imagery），指“没有外界的视觉信号输入，我们也能在头脑中产生心理表象去使用它们”38。我们听到“狗”这个词，眼前无须真的看见一只狗，脑海中也能浮现出狗的样子；甚至无须任何提示，仅凭记忆也能唤起脑海中的各种形象。这些虚在形象就是视觉表象，它的强度通常与视觉皮层的兴奋度呈负相关。这意味着，给予更少的直接视觉信息，反而更有利于激发视觉表象的出现。通过切断叙事、隐藏信息，制造适当的信息缺省，留出意义空隙，使主体记忆有机会被释放，用以调动负责整合高级信息的额叶皮层的兴奋度，这正是激发视觉表象的物质条件。侯孝贤的“冰山叙事”“气韵剪辑法”得以奏效，就是依赖这种脑机制。陈凯歌的《百花深处》也是利用这一点，让观众和搬运工一起跟随冯先生的描述，想象他的记忆空间，在空无一物的废墟上演绎荒诞而悲情的“假搬家”。

　　语义上的大量空缺反而会激发观众创造语义的潜力，据此，我们能对观影时“被自己感动”的现象给予科学解释。AI编剧在《太阳泉》的剧本中有一句“把镜头拉到背后”的表演指示，这句语焉不详的话却激发了摄影师的灵感，通过转换拍摄角度揭示出演员手中空无一物，创造了一个打破“第四堵墙”的段落39。这让古德温意识到，“（意义）生成和解释的循环是一个引人入胜的话题……增强人类创造力才是这些机器的核心效用。我们通常认为赋予词语意义是作者的工作。然而，当面对缺乏客观意义的文本时，读者会承担这个角色，变成作者”40。这也是人工智能对接受美学的一种跨世纪回应。《雀村往东》同样是让接受者与创作者合一的艺术实验。人们在展厅里创建叙事，是“编剧-剪辑”一体化的过程。设想根据LSTM算法设计一个AI叙事师，在深度学习了大量中国农村题材电影后，它会如何处理《雀村往东》的六屏素材？此类电影多以人为主角，狗属于次要信息。因此，机器可能会倾向于建立以农夫为主的故事，在劳作、生病、筹钱、医治、葬礼等一系列主线情节中，少量出现的“小狗闲逛”和“群狗打架”可能在传递过程中被遗忘门过滤掉，也有可能被保留。前者有利于集中主要情节，形成更紧凑的叙事链，但容易导致艺术意味降低；后者虽是随机插入的素材，但反而可能激发观众的艺术想象，被解读出深意。人类在进行非类型片的创作时，往往会以“闲笔”铺陈环境。但闲笔不闲，弱相关的非情节信息有助于塑造含混隽永的整体气氛，最终反哺人物与情节的多义性。此类信息可能数量不多，也不遵循任何模式，但重要性不容低估，因为它体现了人类大脑更高级的创造力。这种艺术手法究竟只能以“随机输出+个人解读”的方式存在，还是能通过调整神经网络算法来引导优化？这或许是未来人工智能编剧要挑战的重要课题。

余论

 

　　如果将洛根展厅视为一个大脑，那么“雀村”就是它虚构出来的心理表象。按杨福东所说，他的出生地是河北香河县一个被当地人称为“雀儿院”的地方，他将其简称为“雀村”。但在导航地图上，无论输入“雀村”还是“雀儿院”，都无法找到相应地点，只有一个类似的地名叫“雀林院村”。严格说来，世界上没有“雀村”，它是杨福东和观众共同创造的虚构世界。地图上的“雀林院村”有大片空白之地，这在遵循数学投影和坐标系传统的现代地图中意味着“这里什么也没有”或“这是无关紧要之地”。而在被虚构出来的“雀村”里，那些被地图显示为空白的地方，却是广袤的农田、雄伟的砖窑、冰冻的湖面、擦不干净的玻璃窗、全家福上的笑脸，是生老病死、劳作收获、步履维艰、血肉相搏。

　　马克·纳什曾说：“《雀村往东》是一部令人不安而又发人深省的作品，迫使观众去体验一种完全陌生的环境，去试想与其中居民的联系。”41然而，是什么让这个陌生的村庄与走进展厅的观众产生联系？对于那些看看就走的人们，这种关联并不存在。只有叙事才能让我们与之产生切身的连结，因为“叙事是把生活之流加以截取，并赋予其意义的行为，因而是人们将各种经验设定、组织成为有现实意义的基本方式。通过叙事，纷繁杂乱的感觉材料成为可理解、可把握的现实，进而构成我们身处其中的世界。叙事是在此物和它物之间设立关联，是让孤立无依之万物聚汇成流并转化为信息的踪迹”42。只有当叙事建立之后，“往东”才不再只是地图上一个冷漠的方向，往东是一条大路，是通往外界的唯一一条路。它为每一个卑微者招引未来、希望和无限的可能性。

　　《雀村往东》激发出丰富的心理表象，为那些被数字抹平的生命赋予意义。它“向我们指出的是生活的价值，以及个体从他/她的存在中获得期望的权利”43。正是因为有了叙事，我们才能从这些断裂离散的影像中获得如此庄严的生命体悟，这个并不存在的“雀村”才能与观看它的陌生人产生情感连结。它为地图上的空白之地灌注了鲜活的经验，在引动目光的同时也唤醒观者对他人的牵挂之情，继而在追踪那些陌生人的过程中，慢慢看见自己的倒影。“雀村”因而具有了形而上的意义，抽象为所有人的故乡。

注释

1 Kelly Grovier, 100 Works of Art That Will Define Our Age, New York: Thames & Hudson, 2013, p. 300. 

2 8 芝加哥大学洛根中心《杨福东：雀村往东》展览手册（Wu Hung and Yang Fudong, Yang Fudong: East of Que Village, Chicago: Logan Center Exhibitions, 2014, p. 40, p. 20）。

3 43 Simon Groom, Karen Smith and Xu Zhen (eds.), The Real Thing: Contemporary Art from China, London: Tate Publishing, 2007, p. 143, p. 148.

4 该展览也展出了少数几件杨福东早期的录像短片，但与《雀村往东》不处于同一展示空间。

5 笔者曾就此问题询问过巫鸿，他作为这两场展览的策展人给予了确认。

6 这一点在上海2015年的《南辕北辙——杨福东作品展》中得到了验证。《雀村往东》与其他杨福东的作品一起被展出，笔者留心观察到，参观者在这件作品的展厅中停留的时间明显短于洛根版。

7 笔者曾在洛根中心的展厅连续一周调研，亲身实践了逐屏观看，并观察不同观众的反应，随机采访。

9 14 李振华：《序·杨福东：电影》，《杨福东：似水留影》，金城出版社2013年版，第1页，第1页。

10 12 李振华：《杨福东：似水留影》，第7—22页，第92页。

11 董冰峰：《关于“电影”的37个断片》，董冰峰等：《从电影看：当代艺术的电影痕迹与自我构建》，新星出版社2010年版，第12页。

13 2020年12月20日，青年实验影像计划“未来未来”在上海外滩博悦汇影城举办放映会。

15 41 伦敦帕拉索艺术中心的《杨福东：八月的二分之一》展览手册（Mark Nash, “Performing Cinema”, in Ziba Ardalan (ed.), Yang Fudong: One Half of August, London: Parasol Unit, 2010, p. 134, p. 134）。

16 周哲浩：《一部素材全部来自监控视频的电影，想要探讨真实的意义》，http://www.qdaily.com/articles/44756.html。

17 魏娜：《从“伪文字”到蜻蜓眼，徐冰作品中的矛盾与张力、智性与机锋》，http://www.99ys.com/home/2959/04/24/15/209604.html。

18 余雅琴：《徐冰〈蜻蜓之眼〉：监控摄像头下的中国现实叙事》，http://news.sina.com.cn/c/2019⁃08⁃22/doc⁃ihytcitn1182723.shtml。

19 徐冰、小童：《〈蜻蜓之眼〉：我们每天都会被监控摄像头捕捉300次》，https://www.thepaper.cn/newsDetail_forward_2267687。 

20 21 N. 凯瑟琳·海勒：《我们何以成为后人类：文字、信息科学和控制论中的虚拟身体》，刘宇清译，北京大学出版社2017年版，第179页，第14页。

22 23 塞莫·萨基（萨米尔·泽基）：《脑内艺术馆：探索大脑的审美功能》，潘恩典译，（台湾）商周出版社2001年版，第125—126页，第139页。

24 安简·查特吉：《审美的脑：从演化角度阐释人类对美与艺术的追求》，林旭文译，浙江大学出版社2016年版，第129页。

25 26 27 30 32 Patricia Pisters, The Neuro⁃Image: A Deleuzian Film⁃Philosophy of Digital Screen Culture, Stanford: Stanford University Press, 2012, p. 2, p. 30, p. 27, p. 14, p. 15.

28 Michael W. Reimann, Max Nolte, etc., “Cliques of Neurons Bound into Cavities Provide a Missing Link between Structure and Function”, Frontiers in Computational Neuroscience, Vol. 11 (June 12, 2017): 1-16. 

29 Paul Ratner, “The Human Brain Builds Structures in 11 Dimensions, Discover Scientists”, https://bigthink.com/hard⁃science/our⁃brains⁃think⁃in⁃11⁃dimensions⁃discover⁃scientists/. 

31 33 大卫·芬奇《搏击俱乐部》蓝光花絮，https://www.bilibili.com/video/BV12g4y1z7AF?p=6。 

34 葛詹尼加等：《认知神经科学：关于心智的生物学》，周晓林、高定国等译，中国轻工业出版社2011年版，第427页。

35 Annalee Newitz, “Movie Written by Algorithm Turns Out to Be Hilarious and Intense”, https://arstechnica.com/gaming/2021/05/an⁃ai⁃wrote⁃this⁃movie⁃and⁃its⁃strangely⁃moving/. 

36 37 伯纳德·J. 巴斯、尼科尔·M. 盖奇主编：《认知、大脑和意识：认知神经科学引论》，王兆新等译，上海人民出版社2015年版，第545页，第555页。

38 约翰·安德森：《认知心理学及其启示》，秦裕林等译，人民邮电出版社2012年版，第100页。

39 40 Ross Goodwin, “Adventures in Narrated Reality, Part II”, https://medium.com/artists⁃and⁃machine⁃intelligence/adventures⁃in⁃narrated⁃reality⁃part⁃ii⁃dc585af054cb. 

42 高士明：《新媒体时代的视觉与表述制度》，《从电影看：当代艺术的电影痕迹与自我建构》，第70—71页。

本文为上海市哲学社会科学一般项目“电影对中国画视觉机制的传承与创新研究”（批准号：2019BWY015）成果。

*文中配图均由作者提供

|作者单位：华东师范大学传播学院

|新媒体编辑：逾白

猜你喜欢

本刊用稿范围包括中外

文学艺术史论、批评。

欢迎相关学科研究者，

特别是青年学者投稿。

文艺研究

长按二维码关注我们。

■  点击左下角阅读原文即可购买往期杂志。